期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 基于多任务学习的意图检测和槽位填充联合方法
尚爱国, 朱欣娟
《计算机应用》唯一官方网站    2024, 44 (3): 690-695.   DOI: 10.11772/j.issn.1001-9081.2023040443
摘要244)   HTML14)    PDF (1281KB)(205)    收藏

随着预训练语言模型在自然语言处理(NLP)任务上的应用,意图检测(ID)和槽位填充(SF)联合建模提高了口语理解的性能。现有方法大多关注意图和槽位的相互作用,忽略了差异文本序列建模对口语理解(SLU)任务的影响。因此,提出一种基于多任务学习的意图检测和槽位填充联合方法(IDSFML)。首先,使用随机掩盖mask策略构造差异文本,设计结合自编码器和注意力机制的神经网络(AEA)结构,为口语理解任务融入差异文本序列的特征;其次,设计相似性分布任务,使差异文本和原始文本的表征相似;最后,联合训练ID、SF和差异文本序列相似性分布三个任务。在航班旅行信息系统(ATIS)和SNIPS数据集上的实验结果表明,IDSFML与表现次优的基线方法SASGBC(Self-Attention and Slot-Gated on top of BERT with CRF)相比,槽位填充F1值分别提升了1.9和1.6个百分点,意图检测准确率分别提升了0.2和0.4个百分点,提高了口语理解任务的准确率。

图表 | 参考文献 | 相关文章 | 多维度评价